Interactor: Agentic RL oriented Iterative Creation for Ad Description Generation in Sponsored Search
Interactor：面向搜索广告的代理RL迭代描述生成框架
🧭 Agent RL优化广告描述生成 ★ 深度解读
Baidu Inc.
多轮迭代生成框架，利用生成奖励模型的细粒度反馈强化学习，显著提升广告描述的知识性与忠实度
📌 工作参考价值（4 点）
- 将单轮生成改为多轮迭代，利用细粒度反馈（不仅是标量奖励）修正错误，可迁移到商品详情页、推送文案等长文本生成，提升内容质量。
- 基于规则的生成奖励模型（GenRM）能输出二分判断和结构化推理，可作为自动内容审核或AIGC质量保障组件，在电商文案评估中直接复用。
- 在生成式推荐中引入外部知识检索（如搜索引擎），将检索结果作为上下文补充，类似RAG但通过RL优化融入生成循环，可增强商品描述的知识准确性。
- 代理RL训练采用GSPO算法，仅对动作token计算梯度并屏蔽环境token，适合大规模异步训练，对同类多步交互生成场景（如对话式推荐）有工程参考价值。